אברהם אסף, יושב ראש אמנת: "אנחנו לא ממחשבים את הבחירות במפלגת העבודה"